MindZero: Learning Online Mental Reasoning With Zero Annotations
MindZero：零标注学习在线心理推理
🧭 多模态LLM · 自监督RL · 心理推理
Johns Hopkins University · Peking University
自监督强化学习训练多模态大模型进行在线心理推理，无需真实心理状态标注
📌 工作参考价值（4 点）
- 电商客服/导购Agent可借鉴：从用户行为序列（点击、停留、加购）自监督学习推断意图（如购买动机、偏好），无需人工标注心理状态，利用行动似然估计（如购买概率模型）提供训练信号。
- 多步推理压缩为单步前向：将需要多轮模拟或规划的意图推理内化到单次MLLM前向，显著降低延迟，适合实时交互场景。
- 多假设信念更新机制：让LLM生成并维持多个用户意图假设，根据新观察行为更新概率，可用于动态用户建模（如推荐中的兴趣漂移）。
- 利用环境动力学（planner）作为评判：在缺乏真实用户意图标签时，通过可观测的结果（如下单、跳出）反推用户心理状态，构建自监督奖励，适用于推荐系统对用户心智模型的隐式学习。